重磅 | 华为发布绝杀计算战略!投15亿美元打造开放生态,全球最快AI训练集群Atlas 900,绝了!
戳蓝字“CSDN云计算”关注我们哦!
文 | 阿晶、丹丹、王银发于上海华为HC大会现场
出品 | CSDN云计算(ID:CSDNcloud)
科技的不断发展正逐步加速智能世界的到来。
一直,华为致力于提供经济且充裕的算力,力图像使用电力一样帮助开发者方便获取AI能力,从而实现让算力更加普惠,让算法更加简单的目标。转眼已到华为全联接大会的第四个年头,让我们共同见证来自“共创智能新高度”的美好。
2019年9月18日-20日,华为全联接大会2019正式现身上海世博展览馆、上海世博中心,关于持续被热议的行业数字化转型、全新赋能开发者的沃土2.0计划、深度了解开发者眼中的自研智能计算鲲鹏+昇腾两大计算平台等诸多内容,亟待一一揭晓。Everybody is here now ! Let’s go!
锁定计算红利,打造最佳连接,华为持之以恒
两年之前,华为发布了崭新愿景,力图构建一个万物互联的智能世界;而在过去的30年,华为一直积蓄力量努力打造世界上最好的联接,这一点在华为副董事长胡厚崑在华为全联接大会2019的开场keynote中被首先提及。
“我们越来越清楚地看到,要构建这样一个智能世界,有两类关键技术值得不断投资与创新,那就是计算和连接。尽管在过去的很长时间里华为在连接上做了很大投入且成绩斐然,但并不意味着华为只是一家做连接的公司,在我们眼中,计算与连接同样重要,甚至可以被认为是密不可分。”
或许这种密不可分的关系可以简单表述为在当今世界中,哪里有连接,计算就在哪里应运而生。关于计算,华为始终保持对产业发展的敏感观察。70年一路走来,从1946年第一台计算机诞生至今,从大型机、小型机-台式机、便携机、智能手机以及如今的可穿戴设备,计算机的体积越来越小但功能却越来越多,人类与计算的距离缩短彰显着未来发展的无限前景。
从过去基于规则的计算,到现在依赖于统计计算的新式计算模式,除了能够更好地解决那些没有固定规则可定义的问题之外,甚至奠定了来自AI的突破性发展。对此胡厚崑大胆预测,在未来的五年时间中,这种基于统计的计算模式所消耗的算力有可能占据到整个社会所需要算力的80%以上。“基于这样的大趋势,我们有理由相信,计算正在进入一个新的智能时代。但在智能计算的时代,有几个关键特征需要重点把握。”
未来对算力有高度依赖。事实上基于统计的计算模式本身就是一种“暴力”计算,高度依赖算力。
智能无处不在,计算即无处不在。计算不会仅仅停留在中心节点。从中心侧到边缘侧到终端侧,无处不在的计算将是智能时代的一种新形态。
迫切需要端、边、云进行协同。
关于协同模式,华为认为最理想的应该是在中心节点通过暴力计算对通用模型进行训练,并且可以做到使用通用模型来支持在边缘和终端侧的计算,在这样的协同下可以更好发挥算力的效率,带来更好的体验,在这种协同之下,并不需要把所有的数据上传到云端,同时带来更好的隐私保护。
基于这样的趋势判断,华为将坚定不移地对计算产业进行投入,提出在计算产业战略的四个关键的抓手,主要包括架构的创新、处理器的投资、坚持有所为、有不所为的商业策略、打造开放的生态环境。
架构创新。基于投资基础研究打造出达芬奇架构,重点解决全场景智能的架构问题。
投资全场景处理器族。其中包括面向通用计算的鲲鹏系列、面向AI的昇腾系列、面向智能终端的麒麟系列以及面向智慧屏的鸿鹄系列,将来还会有一系列处理器面向更多场景得到更好的应用效果。
商业策略。华为处理器不直接对外销售,主要以云服务和部件为主面向客户,优先支持合作伙伴发展整机。对此胡厚崑说:“我们会一直坚持硬件开放,把服务器主板、AI模组和板卡向合作伙伴开放,帮助做到整机和解决方案;此外还会坚持软件开源,把服务器的操作系统、数据库、AI计算框架向合作伙伴开放,在这个基础上做出商业版本,让软件的开发更容易;第三,华为不做应用,但是会投入专门的团队和工具帮助伙伴做好应用以及做好应用的迁移。”
构建开放生态。重点推进沃土计划2.0,面向未来5年,投入15亿美元,汇聚500万开发者,使能全球合作伙伴发展应用及解决方案。
据悉四年以来,华为“沃土”计划发展成就显著。计划下,超过130万个开发者,超过1.4万家的SV合作伙伴加入其中。新一轮的“沃土”计划,华为将承诺投入15亿美元资金,进一步扩大开发者社区,希望可以做到500万人的规模。
在计算领域,华为将核心竞争力构筑在昇腾处理器和鲲鹏处理器上,即围绕昇腾,打造出全栈全场景AI解决方案;围绕鲲鹏,打通生态全链条,并率先完成从主板、服务器、操作系统、云服务及应用的系统级验证。通过鲲鹏和昇腾的加入,华为希望推动计算产业迈向x86+GPU+ARM+NPU等多样性计算发展,迎接万物互联的智能世界到来。
在已经落地的全栈、全场景的基础上,华为现场发布了Atlas 900。这款产品汇聚了华为几十年的技术积累,是当前全球最快的AI训练集群,由数千颗昇腾处理器组成。在衡量AI计算能力的金标准ResNet-50模型训练中,Atlas 900只用了59.8秒就完成了训练,这比原来世界记录还快了10秒。
开源开放
向社会赋能:智慧交通、智慧医疗、智慧安防
今天,华为正式发布了华为云工业智能体,华为称其为行业也智能化升级新引擎,其中包含了智能认知引擎、智能预测引擎、决策优化引擎。在与石油、合成纤维、煤焦化行业的合作中,华为云工业智能体帮助油石油企业在气层识别上花费的时间降低了70%,合成纤维企业的客户需求匹配率提高了28.5%,煤焦化行业利润率提升了16.6%。
此外,华为发布一站式开发平台ModelArts2.0版本。郑叶来表示,ModelArts可以加速企业在AI方面的净化过程。举例来说,训练一个OCR的单据模型,只需要几张原始图片,使用字据扩充到数千张,可以节省80%的人力,同比业界最好的91%精度高出5个百分点,达到96%。
各位尊敬的来宾、女士们、先生们大家上午好。
2018年以前全球在AI领域的投融资几乎均匀分布在各个行业和技术领域,有一点像撒胡椒面一样,那时的投融资是符合技术发展的热潮时期的特征。2018年以后,大量的投融资活动局部围绕几个具体的行业场景,且高度集中在头部行业,比如说智慧的交通、智慧城市、医疗健康、金融。可以看到,技术上的热度局部回归到商业的理性,我们通常讲一个新的技术要实现普惠,需要跨越裂谷。
我愿意用“暴力美学”来形容,算力的需求每年增长10倍左右,为什么呢?从研究来看,人类在过去十几年当中,对AI的研究局部在深入,也出现了越来越多新的算法和新的探索,这些新的算法对算力的要求几乎是百倍增长。在过去三年,算力的增长速度与论文出现的数量已经呈现正相关性,另外一个角度我们看到从商业上来看,只有算力的性价比越来越高,AI在商业上的应用才会越来越广泛。所以我们希望现在的AI像电力一样可以便利获取。
去年在上海我分享一个观点,算力将释放算法之美。你今天拥有了大量的算力才可以比别人更快验证你的模型和算法。去年华为全联接大会上,我们的轮值董事长小徐总讲了一个观点,华为未来释放的能力,实际上有两条线,一是面向智能终端,我们的解决方案是HiAI,还有面向组织的EI。EI改变生产力的三种场景,一是海量重复;二是专家经验以及多域协同;三种场景下如果来助力产业的升级,从而实现效率的提升,专业的传承以及突破极限,其中我们讲海量重复的场景是指我们在企业实践当中来努力寻找高频出现的重复场景。
举一个例子,上海一个著名物流公司德邦快递,我们和德邦快递通过高精度的OCR来识别快递面单当中的信息,从而取得纯粹手工的录入,快递员可以拍照、截图,我们的OCR系统可以自动这个面单当中的收件人和寄件人的信息,并且可以处理比较复杂的背景。比方说光照不均匀,图片模糊甚至破损这些问题,来减少异常情况下人工处理的时间。大幅度提升用户效率和管理成本,减少15%左右。
我们都知道行业分拣选一般直是行业的诟病,除了损害消费者的权益导致大量的货损赔偿之外,其实用户的体验是非常不好。华为云的EI智能分析系统,会对监控视频进行实时行为分析,自动识别捡货当中,捡货员的动作是扔还是抛还是拿脚踢等暴力分拣的行为,在联邦快递有150个货场,3万个摄像头已经接入后端违规操作系统管理来进行识别,违规操作的小时违规率下降了15%。专家经验很好理解,融入专家积累的经验,使AI达到专家助手的水平。我们和第三方基因医学配合,首次基于病理,通过深度学习训练出高精度、高效的AI辅助宫颈癌筛查的模型,这个模型在过去当中实际的结果阴性片判读的准确率超过99%,对阳性病变的检出率达到99.9%,这个是我们已知在国际上AI辅助宫颈癌筛查的最高的水平。
再跟大家分享一个例子,今天非常优秀的病理学医生读一张片的时间大概是6分钟,今天用机器人读片子只要36秒。对于涉及到参数众多,依赖关系非常复杂、依赖度高、多域协同的管理,在智能交通等,尤其是知识图谱、自然语言处理等技术将会为这些领域带来新的思路和新的方法。
在过去的八年,我们在华为的团队一直在做新的产业,在过去的一年多在10多个行业,包括城市、工业、零售、金融、汽车等多个场景,有500个项目成功的实践,当然也是携手合作伙伴帮助这些企业走向智能化的升级之路。华为本身就是一个全球领先的电子制造行业的领导者,我们应该比很多公司更清楚的知道,一个工业场景下,需要解决什么问题?我在华为内部跟很多人分享,什么叫做2B的思维?其实很容易理解,您的数据,您的模型用我的平台来解决您的问题,一切的思维模式是真正以客户为中心,而不是以“我”为中心的。
应该说在500项目的成功实践,我们一直在总结,加上数百个参加项目的科学家和工程家对项目进行复盘、总结。我们发现,任何一个行业,AI的项目想落地实施,不仅是AI技术平台和企业两个方面可以完成的,需要更多的角色共同完成,我们看上面角色的模型,基本上是四个角色,设计行业落地的场景,应用相关的SV、应用相关的设备或者是流程以及AI平台的提供方。进一步打开来看,从实践中到实践中去,我们可以发现在一个成功AI实施的项目,必然有四个要素分布在不同的角色当中,也就是说一个明确定义的场景,需要一个触手可及的算力,需要一个持续进化的系统和服务,以及组织和人才的适配,参照这个角色模型以及影响项目成功的四个要素,我们就可以清楚一个技术要走向商用的裂谷,我们要跨越过去而不是掉到坑里面去。
第一个要素是什么?首先是场景的问题,我们要解决什么问题?首先我们希望要明确解决问题的场景是什么?你要提升产品的质量还是降低成本,还是提升效率?其次,要解决问题,一定要清晰的边界,这个边界要便于用数学要刻划或者是表达。其次这个场景应该是可以闭环的,可以预测,不能是开放而不可预知的场景。最后,要具备解决这个问题所需要的充足而完备的数据与行业知识,这就是我们如何定义好要解决这个商业的场景。
下面我想分享两个例子,什么是一个合适的场景,什么是一个落地比较困难的场景?三联虹普,看一下这个场景好像很复杂,恰恰这个场景是可以被明确定义,有清晰的边界,要解决什么问题,很清楚,这个问题可以用数学刻画,解决这个问题有充足的数据和完备的知识。用AI提升质量检测,或者是染色、调色实现商业的价值,有一个视频跟大家分享看一下三联虹普如何在华为的帮助来实现从一百米到一千公里质检的跨越。三联虹普的董事长讲了一个非常好定义的场景,用AI解决这个问题达到非常好的效果。
下面我愿意分享这个案例,这个案例看似不怎么成功,或者在实施的过程当中是很痛苦的——河流的治理,这个场景应该是很简单的场景,但是恰恰看似很简单的场景,其实是异常复杂的,一开始大家期望值比较高,但是落地的过程当中发现场景太复杂了,首先需要识别抛物、泼洒、飘浮等各种场景,而且复杂的自然环境场景,比方说天黑、暴雨、阴天等这种自然场景与人的行为相交织,更加增添了场景识别的难度,导致场景很难判别,索性遇到了一个非常好的客户,初心不改就认定了华为,一起经过努力,我们的客户和团队都非常优秀,通过不同的调整,克服困难,不断调整算法,终于从识别率从50%提高到80%,也就是说基本可用了,这个是河流治理的场景,讲这两个例子,如何选择一个合理的场景,不是主观的判断,而是四个要素的判断,这四个场景是不是人工智能所适合的场景?如果一开始场景选择错误了,痛苦就开始了。我讲跨越裂谷第二个要素是什么?强劲的算力,触手可及的强劲算力。
胡总分享的很多,我还想讲的,今天可以看到,我们的算力依然是不充沛、不经济、难以获取的,导致今天的企业政府、高校、科研机构普遍缺乏强劲的算力。从这个胶片当中可以看到有很多的例子,以华为举例,华为在科研舍得投入的,以华为公司为例,看了一下子,今天内部AI训练作业任务每天超过四千个,日均训练超过3.2万小时,就这样我们还有大量的任务挂在MODEL ARTS进行调度、排队。我们的博士现在怎么工作?上班不训练了,我们自己人不训练了,下班的时候赶紧把MODEL ARTS进行训练,第二天让给兄弟单位,晚上赶紧训练。即使这样,我们的算力依然还是很紧张。
我们的 Atlas900的算力就是通过EI的集群服务,胡总说是全球最快的,我们是基于昇腾910的处理器集成的,通过华为集合通讯库和资源调度系统以及超高速数据训练和缓存的技术,充分释放了这颗芯片的能力,今天的算力现在可以提供256P,大致相当于50万台PC机所拥有的算力,未来可以线性扩展这套集成系统。胡总刚才讲了一个数据,我们用59.8秒在非常经典的数据集典型的神经网络应该是最高的,比第二名高15。我们把数千颗910的芯片到进行交换,实现了全互联、无阻塞的高度交换网络,整个网络几乎是没有时延的,同时我们的老本行把计算、存储网络进行集合,所以软件加硬件把芯片释放,所以形成非常强劲的算力。
第三,AI的服务,我们需要一个持续进化AI的服务,传统的企业IT是基于非常明确的需求与规则,它的特点是确定性强,研发与生产是可以分离的,也就是说虽然一个典型的供方与需求方的概念,但是到了AI的时代,需要改变了。特别是深度学习是基于统计计算的,基于有限数据集开发的模型,在不能运行时可以满足所有场景的变化,为此我们应该构建一个把生产运行与开发训练闭环的在线系统就非常关键了。有了这样一个在线的闭环系统,能通过数据闭环下的在线学习能力,就可以让模型来持续适应环境的变化,持续来优化真正可以净化的AI系统或者是服务。我们的客户经常和我们说,在我们家建设一套,我们不差钱,但是这不是钱的事情,您需要有一个在线闭环的训练系统,这个是有训练集的在线系统。华为提供了一个持续迭代的框架,开发了MODELARTS,加速企业AI净化的过程,其中在自动数据增强的功能下,训练一个OCR的单个模型,我们只需要几张原始的图片,使用我们的自动数据扩充,可以到上千张,可以达到同样训练的精度可以节省80%以上的人力。
同样通过模型MODEL ARTS自优化的框架,使用多元搜索算力比我们现在看到的专家模型还可以提升8个百分点,同比业界自动调优的最高水平,现在差不多91%左右,我们可以高6个百分点。举一个例子,在自动驾驶领域,通过自动闭环的领域,可以实现模型每天的更新,以前一周最多更新一次,在本次全联接大会第三天,面向开发者、华为发布MODEL ARTS2.0新的特性,非常值得大家期待。
下面讲组织和人才的适配,我适配是主动的国家,匹配是被动的态度。应该讲AI的智慧来源于人类,智慧的数字化需要尊重以人为本的初心,对于AI的开发者,通过贴近行业提供异域使用的平台,来努力降低AI或者是行业结合的门槛,华为云MODEL ARTS一站式开发平台也是一个开发流水线,来管理AI应用开发,帮助用户来快速创建或者是部署模型,管理全周期AI的工作流。而对于有行业经验的专家来说,我们一直在思考如何通过AI系统将专家和专家的协同,我们在AI的落地过程当中,通过决策规则的相对透明,让AI更加辅助专家决策,从而更好被接受。从企业的组织和流程改变开始,我们不能用传统的企业IT的模式使用AI,AI需要向适配的人才、组织或者是流程来充分发挥效率。
下面的例子,是深圳机场的专家对于AI在深圳机场落地新的体会。上面分享了跨越行业AI落地的四个关键要素,明确定义的商业场景,触手可及的充沛算力,持续进化AI的服务以及组织和人才的适配。
今天正式向业界发布华为云工业智能体,我们讲在工业领域,可以得到很好的运用离不开各行各业的合作伙伴,华为云希望联合越来越多的合作伙伴通过工业智能体来加速行业AI项目的落地,让大家的业务愿景成为现实。我们可以看到,跟中国石油合作,使用智能体智能分析的引擎来辅助识别测井的油气层,识别的时间下降70%。我们和三联虹普合作使用智能体的智能引擎,在智能当中动态匹配客户需求,可以提升28.5%。跟鑫磊集团合作,使用智能体的优化引擎,将AI能力应用到配煤和焦炭生产环节,准确率95%,实现每百万吨焦炭节省成本1千万人民币。今年在能源、焦炭、电力、水泥、化纤等10多个工业行业都可以落地,真正将AI引入行业,加速工业智能化的升级。